Rhubarb Lip Sync - AI 生成二次元角色的口型动画

今天Bob老板分享了一个非常有趣的工具——Rhubarb Lip Sync。这是一个命令行工具，可以根据语音录音自动生成二次元角色的口型动画。任何需要根据已有录音制作口型动画的项目中都可以使用，比如电脑游戏和动画片。

项目地址：https://github.com/DanielSWolf/rhubarb-lip-sync

看看效果

嘴形的种类

Rhubarb Lip Sync 可以使用六到九种不同的嘴形。前六种嘴形（Ⓐ-Ⓕ）是基本嘴形，也是你必须为你的角色绘制的绝对最小数量。这六种嘴形是在汉娜-巴伯拉工作室为《史酷比》和《弗林斯通一家》等节目而发明的。从那时起，它们已经演变成二维动画的事实标准，并被迪士尼和华纳兄弟等工作室广泛使用。

除了六种基本嘴形之外，还有三种扩展嘴形：Ⓖ、Ⓗ和Ⓧ。这些是可选的。你可以选择绘制其中的全部三种，也可以只选其中一种或两种，或者完全不使用。

Ⓐ - 闭合的嘴形，用于发音为“P”、“B”和“M”的声音。这与Ⓧ形状几乎相同，但嘴唇之间有轻微的压力。

Ⓑ - 稍微张开并咬紧牙关的嘴形。这种嘴形通常用于大多数辅音（如“K”、“S”、“T”等）。对于一些元音，例如“bee”中的“EE”音，也会使用这种嘴形。

Ⓒ - 张开的嘴形。这种嘴形用于像“EH”（men）和“AE”（bat）等元音。根据上下文，它也用于一些辅音。在从Ⓐ或Ⓑ到Ⓓ的动画过程中，这种形状也被用作中间过渡形状。因此，请确保动画ⒶⒸⒹ和ⒷⒸⒹ看起来流畅！

Ⓓ - 张开的大嘴形。这种嘴形用于像“AA”（father）这样的元音。

Ⓔ - 稍微圆润的嘴形。这种嘴形用于像“AO”（off）和“ER”（bird）这样的元音。在从Ⓒ或Ⓓ到Ⓕ的动画过程中，这种形状也被用作中间过渡形状。请确保嘴部不要比Ⓒ张得更开。ⒸⒺⒻ和ⒹⒺⒻ应该得到流畅的动画效果。

Ⓕ - 嘟嘴的嘴形。这种嘴形用于“UW”（you）、“OW”（show）和“W”（way）等音。

Ⓖ - 上牙触及下唇的嘴形，用于“F”（for）和“V”（very）等音。这种扩展的嘴形是可选的。如果你的艺术风格足够详细，它会极大地改善动画的整体外观。如果你决定不使用它，可以使用extendedShapes选项指定。

Ⓗ - 这种形状用于长音“L”，舌头抬起到上牙后面。嘴巴应该至少张开到Ⓒ形状，但不像Ⓓ形状那样张开。这种扩展的嘴形是可选的。根据你的艺术风格和头部的角度，舌头可能完全看不见。在这种情况下，没有必要画这个额外的形状。如果你决定不使用它，可以使用extendedShapes选项指定。

Ⓧ - 空闲状态。这种嘴形用于语音暂停时。当你的角色在走路但不说话时，应该使用相同的嘴形。它与Ⓐ几乎相同，但嘴唇之间的压力稍小：对于Ⓧ，嘴唇应该闭合但放松。这种扩展的嘴形是可选的。关于休息状态Ⓧ和闭合说话嘴形Ⓐ之间是否有任何可见的差异，取决于你的艺术风格和个人品味。如果你决定不使用它，可以使用extendedShapes选项指定。

使用环境

Rhubarb Lip Sync与以下应用程序集成：

Adobe After Effects

Moho和OpenToonz

Spine（由Esoteric Software提供）

Vegas Pro（由Magix提供）

Visionaire Studio

此外，你可以使用Rhubarb Lip Sync的命令行界面（CLI）来生成各种输出格式的文件（TSV/XML/JSON）。

<?xml version="1.0" encoding="utf-8"?>
<rhubarbResult>
  <metadata>
    <soundFile>C:\Users\Daniel\Desktop\av\hi\hi.wav</soundFile>
    <duration>0.47</duration>
  </metadata>
  <mouthCues>
    <mouthCue start="0.00" end="0.05">X</mouthCue>
    <mouthCue start="0.05" end="0.27">D</mouthCue>
    <mouthCue start="0.27" end="0.31">C</mouthCue>
    <mouthCue start="0.31" end="0.43">B</mouthCue>
    <mouthCue start="0.43" end="0.47">X</mouthCue>
  </mouthCues>
</rhubarbResult>